热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

都会|省份_python小脚本Yaml配置文件动态加载

篇首语:本文由编程笔记#小编为大家整理,主要介绍了python小脚本Yaml配置文件动态加载相关的知识,希望对你有一定的参考价值。写在前面

篇首语:本文由编程笔记#小编为大家整理,主要介绍了python小脚本Yaml配置文件动态加载相关的知识,希望对你有一定的参考价值。



写在前面


  • 有这样一个需求
  • 以文件的方式定期给集团同步增量数据,我想把所有的静态数据抽离出来,通过配置文件的方式
  • 需求比较简单,所以用选择pythoh
  • 配置文件用yaml,写了一个小模块
    • 实现配置文件读入内存为配置字典
    • 实现配置文件动态加载读入内存为配置字典
    • 实现配置字典由内存导出静态文件
  • 理解错误的地方请小伙伴批评指正

我只是怕某天死了,我的生命却一无所有。----《奇幻之旅》



这里需要说明的是,常说的动态加载配置,一般基于观察者设计模式实现的发布/订阅系统,一般有两种模式,分别是推(Push)模式和拉(Pull)模式。


  • 推模式:服务端主动将数据更新发送给所有订阅的客户端,
  • 拉模式:由客户端主动发起请求来获取最新数据,通常客户端都采用定时进行轮询拉取的方式。

我们这里只是提供了一个可以动态加载配置文件刷新配置对象的方法,把配置对象定义为单例,刷新的时候把当前存在的配置对象干掉,然后从新加载配置文件生成新的配置对象。即通过拉(Pull)的方式实现。这里配置对象为主题,使用配置对象的多个代码为观察者

先来看一下脚本yaml_util.py

#!/usr/bin/env python3
# -*- encoding: utf-8 -*-
"""
@File : yaml_util.py
@Time : 2022/03/22 14:10:46
@Author : Li Ruilong
@Version : 1.0
@Contact : 1224965096@qq.com
@Desc : 加载配置文件
pip install pyyaml
"""

# here put the import lib
import os
import time
import yaml
import logging
import json
logging.basicConfig(level=logging.DEBUG,
format='%(asctime)s - %(filename)s[line:%(lineno)d] - %(levelname)s: %(message)s')
class Yaml:
_config = None
def __new__(cls, *args, **kw):
# hasattr函数用于判断对象是否包含对应的属性。
if not hasattr(cls, '_instance'):
cls._instance = object.__new__(cls)
return cls._instance
def __init__(self, file_name="config.yaml"):
config_temp = None
try:
# 获取当前脚本所在文件夹路径
cur_path = os.path.dirname(os.path.realpath(__file__))
# 获取yaml文件路径
yaml_path = os.path.join(cur_path, file_name)
f = open(yaml_path, 'r', encoding='utf-8')
config_temp = f.read()
except Exception as e:
logging.info("配置文件加载失败", e)
finally:
f.close()
self._config = yaml.safe_load(config_temp) # 用load方法转化
def __str__(self):
return json.dumps(self._config)
def __del__(self):
self._config = None
self = None
@staticmethod
def get_config(file_name="config.yaml"):
return Yaml(file_name)._config
@staticmethod
def refresh_config(cls, file_name="config.yaml"):
del cls
return Yaml(file_name)._config
def set_config(contain, file_name="config_.yaml"):
# 配置字典由内存导入静态文件
cur_path = os.path.dirname(os.path.realpath(__file__))
yaml_path = os.path.join(cur_path, file_name)
with open(yaml_path, 'w', encoding='utf-8') as f:
yaml.dump(contain, f)
def get_yaml_config(file_name="config.yaml"):
# 配置文件读入内存为配置字典
return Yaml.get_config(file_name)
def refresh_yaml_config(cls, file_name="config.yaml"):
# 配置文件的动态加载读入内存为字典
return Yaml.refresh_config(cls,file_name)
if __name__ == '__main__':
my_yaml_1 = Yaml()
my_yaml_2 = Yaml()
#id关键字可用来查看对象在内存中的存放位置
print(id(my_yaml_1) == id(my_yaml_2))
time.sleep(10)
# 修改配置文件后从新加载配置字典会刷新
refresh_yaml_config(my_yaml_1)

上面是写好加载配置类模块,下面为定义的配置文件

# mysql数据库相关配置
mysql:
db_host: "127.0.0.1"
db_port: 3306
db_user: "root"
db_password: "root"
db_name: "uamdb"
# ssh相关配置
ssh:
ssh_hostname: "192.168.26.55"
ssh_username: "root"
ssh_password: 'redhat'
ssh_port: 22
#文件模式UAG+省份标识+年月日+序号.txt
file_name_template: "UAG0701.txt"
# 本地文件存储位置
local_file_path: "./uam/sftp/"
# 集团服务器上传文件位置
remote_path: "/app/sftp/ftpuam07/increment/"
# 上传周期
period:
date: YEAR #MINUTE,HOUR ,DAY,WEEK,MONTH,YEAR
offset: 1 #几天,几周,几月 前的数据
# 增量数据模板: 文件内容格式:账号,账号类型,账号密码,客户ID,密码加密类型,省份编码,账号状态
template:
- line: "unified_code^unified_type^unified_pwd^cust_codes^Pwd007^07^unified_state"
sql: "SELECT a.unified_code as unified_code ,a.unified_type as unified_type ,a.unified_pwd as unified_pwd \\
,a.unified_state as unified_state , b.cust_code as cust_codes FROM AU_UNIFIED a INNER JOIN AU_PRODUCT b \\
ON a.unified_code = b.product_code AND a.chg_date > SUBDATE( NOW( ), INTERVAL 0 1 )"
- line: "product_code^prod_type^product_pwd^cust_code^pwd_type^07^St001"
sql: "SELECT product_code, product_pwd,cust_code,prod_type, \\
(CASE WHEN a.prod_type='2000004' then 'Pwd001' WHEN a.prod_type='2000001' then 'Pwd001' WHEN a.prod_type='2000002' then 'Pwd001' \\
WHEN a.prod_type='2110008' then 'Pwd001' WHEN a.prod_type='2110011' then 'Pwd001' ELSE 'Pwd001' END) as pwd_type \\
from AU_PRODUCT a WHERE a.chg_date > SUBDATE( NOW( ), INTERVAL 0 1 )"

如何使用

下面为一个数据库连接池工具类的使用。

.....
import yaml_util
from dbutils.pooled_db import PooledDB
class MysqlPool:
def __init__(self):
mysql = yaml_util.get_config()["mysql"]
print(mysql)
self.POOL = PooledDB(
creator=pymysql, # 使用链接数据库的模块
maxconnections=6, # 连接池允许的最大连接数,0和None表示不限制连接数
mincached=2, # 初始化时,链接池中至少创建的空闲的链接,0表示不创建
maxcached=5, # 链接池中最多闲置的链接,0和None不限制
maxshared=3,
blocking=True, # 连接池中如果没有可用连接后,是否阻塞等待。True,等待;False,不等待然后报错
maxusage=None, # 一个链接最多被重复使用的次数,None表示无限制
setsession=[], # 开始会话前执行的命令列表。如:["set datestyle to ...", "set time zone ..."]
ping=0,
host=mysql["db_host"],
port=mysql["db_port"],
user=mysql["db_user"],
password=mysql["db_password"],
database=mysql["db_name"],
charset='utf8'
)
...................

关于如何触发刷新配置文件方法

我们这里修改完配置文件通过UI界面主动调用函数加载。其他项目场景个人觉得可以通过心跳或者探针的机制传递文件摘要信息串(通过MD5,SHA等信息摘要算法生成)进行比对,具体的手段可以通过类似脏值轮询检查或者数据劫持等方式

关于观察者设计模式,是一个很常用的设计模式

基于MVVM模式的前端框架中,双向数据绑定特性,如Vue.js都是基于此,在系统运行过程中,一旦系统中的数据模型发生了变化,观察者 Observersetter访问器属性就会被触发,此时消息订阅中心会遍历它所维护的所有订阅者,对于每一个订阅了该数据的对象,向它发出一个更新通知,订阅者收到通知后就会对视图进行相应的更新。以上过程不断往复循环,这就是MVVM模式在Vue.js中的运行原理。

后端分布式一致性解决方案中,使用ZooKeeper配置中心时,也是基于观察者模式,采用的是推拉相结合的方式,客户端向服务端注册自己需要关注的节点,一旦该节点的数据发生变更,那么服务端就会向相应的客户端发送Watcher事件通知,客户端接收到这个消息通知之后,需要主动到服务端获取最新的数据。将配置信息存放到ZooKeeper上进行集中管理,应用在启动的时候都会主动到ZooKeeper服务端上进行一次配置信息的获取,同时,在指定节点上注册一个Watcher监听,这样一来,但凡配置信息发生变更,服务端都会实时通知到所有订阅的客户端,从而达到实时获取最新配置信息的目的。

包括JDK很早的版本就有观察者模式的实现,java.util包内包含最基本的Observer接口Observable类,不过主题类(Observable)定义成了一个基本类不是接口,所以只能通过继承的方式实现,考虑的继承的可维护性太差,一般不怎么使用。

关于单例模式

单例模式是很常用的一种设计模式,即在整个生命周期中,对于该一个类生产的对象始终都是一个,不曾变化。保证了一个类仅有一个实例,并提供一个访问它的全局访问点。

单例的优点有很多,GOF中这样描述:

唯一实例的受控访问,缩小名空间,Singleton模式是对全局变量的一种改进。它避免了那些存储唯一实例的全局变量污染名空间。允许对操作和表示的精化,Singleton类可以有子类,而且用这个扩展类的实例来配置一个应用是很容易的。你可以用你所需要的类的实例在运行时刻配置应用等等,感兴趣小伙伴可以去看看《设计模式_可复用面向对象软件的基础》


推荐阅读
  • 原文网址:https:www.cnblogs.comysoceanp7476379.html目录1、AOP什么?2、需求3、解决办法1:使用静态代理4 ... [详细]
  • 大类|电阻器_使用Requests、Etree、BeautifulSoup、Pandas和Path库进行数据抓取与处理 | 将指定区域内容保存为HTML和Excel格式
    大类|电阻器_使用Requests、Etree、BeautifulSoup、Pandas和Path库进行数据抓取与处理 | 将指定区域内容保存为HTML和Excel格式 ... [详细]
  • Python 序列图分割与可视化编程入门教程
    本文介绍了如何使用 Python 进行序列图的快速分割与可视化。通过一个实际案例,详细展示了从需求分析到代码实现的全过程。具体包括如何读取序列图数据、应用分割算法以及利用可视化库生成直观的图表,帮助非编程背景的用户也能轻松上手。 ... [详细]
  • Python 程序转换为 EXE 文件:详细解析 .py 脚本打包成独立可执行文件的方法与技巧
    在开发了几个简单的爬虫 Python 程序后,我决定将其封装成独立的可执行文件以便于分发和使用。为了实现这一目标,首先需要解决的是如何将 Python 脚本转换为 EXE 文件。在这个过程中,我选择了 Qt 作为 GUI 框架,因为之前对此并不熟悉,希望通过这个项目进一步学习和掌握 Qt 的基本用法。本文将详细介绍从 .py 脚本到 EXE 文件的整个过程,包括所需工具、具体步骤以及常见问题的解决方案。 ... [详细]
  • 本文介绍如何使用 Python 的 DOM 和 SAX 方法解析 XML 文件,并通过示例展示了如何动态创建数据库表和处理大量数据的实时插入。 ... [详细]
  • 本文详细介绍了如何使用Python中的smtplib库来发送带有附件的邮件,并提供了完整的代码示例。作者:多测师_王sir,时间:2020年5月20日 17:24,微信:15367499889,公司:上海多测师信息有限公司。 ... [详细]
  • Python 3 Scrapy 框架执行流程详解
    本文详细介绍了如何在 Python 3 环境下安装和使用 Scrapy 框架,包括常用命令和执行流程。Scrapy 是一个强大的 Web 抓取框架,适用于数据挖掘、监控和自动化测试等多种场景。 ... [详细]
  • 本文介绍了如何使用Python的Paramiko库批量更新多台服务器的登录密码。通过示例代码展示了具体实现方法,确保了操作的高效性和安全性。Paramiko库提供了强大的SSH2协议支持,使得远程服务器管理变得更加便捷。此外,文章还详细说明了代码的各个部分,帮助读者更好地理解和应用这一技术。 ... [详细]
  • 本文回顾了作者初次接触Unicode编码时的经历,并详细探讨了ASCII、ANSI、GB2312、UNICODE以及UTF-8和UTF-16编码的区别和应用场景。通过实例分析,帮助读者更好地理解和使用这些编码。 ... [详细]
  • 本文介绍如何在 Android 中自定义加载对话框 CustomProgressDialog,包括自定义 View 类和 XML 布局文件的详细步骤。 ... [详细]
  • 本文是Java并发编程系列的开篇之作,将详细解析Java 1.5及以上版本中提供的并发工具。文章假设读者已经具备同步和易失性关键字的基本知识,重点介绍信号量机制的内部工作原理及其在实际开发中的应用。 ... [详细]
  • Python多线程编程技巧与实战应用详解 ... [详细]
  • Python 开发笔记:深入探讨字符串及其常用方法与技巧 ... [详细]
  • 在探讨 MySQL 正则表达式 REGEXP 的功能与应用之前,我们先通过一个小实验来对比 REGEXP 和 LIKE 的性能。通过具体的代码示例,我们将评估这两种查询方式的效率,以确定 REGEXP 是否值得深入研究。实验结果将为后续的详细解析提供基础。 ... [详细]
  • 本文详细介绍了使用 Python 进行 MySQL 和 Redis 数据库操作的实战技巧。首先,针对 MySQL 数据库,通过 `pymysql` 模块展示了如何连接和操作数据库,包括建立连接、执行查询和更新等常见操作。接着,文章深入探讨了 Redis 的基本命令和高级功能,如键值存储、列表操作和事务处理。此外,还提供了多个实际案例,帮助读者更好地理解和应用这些技术。 ... [详细]
author-avatar
samiensfe_663
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有